超越结果奖励：搜索智能体的检索信用构造与分配
🧭 搜索Agent强化学习 · 检索信用分配 ★ 深度解读
University of Edinburgh · Huawei Technologies Research & Development (UK) Limited
系统研究检索中间信号在 GRPO 中与动作对齐的信用分配，局部 credit 显著优于 scalar reward shaping
📌 工作参考价值（4 点）
- 在 RLVR 训练搜索/工具调用 Agent 时，不要只给最终答案 F1。把检索证据覆盖等中间信号作为 token-level local credit，加到产生该次检索的 query tokens 上，比直接把检索 bonus 加到 trajectory reward 更有效；工程上可在 GRPO 中保留 outcome advantage，再在 executed query tokens 上叠加 group-relative signed residual。
- 信号设计要和 credit assignment 联合选择：同一 Cov 信号在 local 下最强，而带依赖约束的 Cov-Dep 更适合 scalar、不适合 local。业务里如果做子问题/依赖图，建议先验证「不要过度约束」的检索信号在 local 框架下是否更好。
- 保持 event-action 对齐很重要：把检索增量打乱到同 step 其他 rollout 会掉点，multi-hop 任务掉点更明显（Cov aligned-permuted 差 2.12，AM 差 3.12）。实现时一定要把 credit 附着到实际产生 evidence 的 tool call tokens。
- 中间监督主要提升证据获取，而非证据利用；如果业务目标是最终成交/答案质量，除了覆盖奖励还应设计证据使用或推理质量信号，否则可能出现检索更多但答案未见提升。
GRPO 中隐藏的伪优势：有界答案与搜索智能体中的猜测奖励
🧭 RLVR 优势估计修正 · 防猜测偏差
Rochester Institute of Technology · Adobe Research
识别 GRPO 优势估计在有限答案空间与搜索智能体中会奖励猜测行为，并提出 SIGNBALANCE 修正
📌 工作参考价值（4 点）
- 在二元验证 reward 的 RLVR 场景里警惕候选空间大小：电商/搜索 Agent 常把「点击/转化/找到商品」等做成二元 verifier，如果某一步的候选答案集很小（如选品类、选广告位、选价格档），GRPO 的组内归一化优势会奖励撞对的 rollout，策略容易被带偏为猜测而非推理。训练前可先审计每个 prompt group 的有效答案数量。
- 优势估计不要直接用组内 std 归一化：SIGNBALANCE 保持 verifier 的符号，使用全局尺度，并用 stop-gradient 按类别重缩放恢复零均值。工程上可以改成：对每个 prompt group 计算 sign 后，用全局 running std 或固定 scale，再按正确/错误类别分别做 baseline 校正，避免组内 composition 引入伪优势。
- 搜索 Agent 的 credit assignment 要区分路径质量：预算增加会让多条轨迹到达同一答案，GRPO 会奖励大量探索撞答案的轨迹。业务中训练搜索/推荐 Agent 时，如果 reward 只给最终结果，建议在轨迹中间步加入过程 reward（如 query 改写是否有效、是否看了正确商品）或对同终点轨迹做加权，降低撞答案的收益。
- 有界子任务单独处理：开放答案任务中可能嵌套有界子问题（如多选筛选条件），可对这类子步骤单独建模优势，或在 prompt 设计上扩大候选空间，减少 GRPO 伪优势的触发条件。
跨域混合OPD框架：训练通用搜索Agent而不牺牲通用智能
🧭 搜索Agent强化学习与多域蒸馏混合优化 ★ 深度解读
Tencent Yuanbao Team · Shanghai Innovation Institute
结合搜索RL与多领域专家在线策略蒸馏(OPD)，同步优化搜索能力与通用推理，有效缓解对齐税
📌 工作参考价值（4 点）
- 混合训练避免能力退化：在业务中对搜索/推荐Agent做专项RL（如对话式推荐、多步检索）时，可借鉴混合批次设计——在RL损失中混入通用任务，用教师模型的token级KL惩罚保持通用能力，避免模型变成只会搜索的“偏科生”。
- 多域专家蒸馏优于单一教师：电商场景中可训练多个领域教师（如商品知识、促销文案、售后规则），通过在线策略蒸馏将领域知识注入搜索Agent，比单一通用教师更有效，且不会覆盖学到的搜索策略。
- 难度课程学习提升教师质量：为教师模型构造难度分层（基于Pass@k统计），先从中等难度样本学习密集信号，再扩展到全谱困难样本，能显著提升教师对困难问题的教学能力，这一策略可直接用于业务中领域专家模型的训练。
- 工具交互协议与奖励设计：采用XML格式工具调用协议和统一的验证器（规则、RM、代码执行），可迁移到需要调用商品搜索、优惠查询等API的电商Agent中，并利用GRPO优化工具使用策略。
DeepStress：深度搜索代理的压力测试
🧭 搜索代理鲁棒性评估与压力测试
Orange Research · Aix-Marseille Univ. · CNRS
提出DeepStress框架，通过控制检索证据的可信度、相关性和事实性来测试搜索代理对低质量信息的鲁棒性
📌 工作参考价值（4 点）
- 搜索/推荐Agent评估中，可构建类似DeepStress的合成检索环境，注入不同比例的不可靠文档（如虚假产品描述、无关广告），提前暴露模型脆弱点
- 评估指标不应仅看最终答案/推荐准确率，需引入指标量化参数知识与检索知识的冲突情况，区分“被误导”与“合理拒绝”
- 在电商Agent中，可借鉴三个扰动维度：可信度（用户评论真实性）、相关性（搜索召回噪声）、事实性（商品属性错误），针对性设计鲁棒性提升策略
- 对于生成式推荐（如Semantic ID），当检索到的item表示被污染时，可模仿本文方法测试生成结果的偏离程度，指导训练或后处理逻辑
DailyReport：日常搜索任务上评估搜索代理的开放式基准
🧭 Agent 评估基准 · 细粒度与可解释评估
University of Science and Technology of China · Meituan
构造包含150个日常搜索任务与3546条细粒度评分标准的基准，提供可解释的多维评估，揭示现有搜索代理普遍未达用户预期
📌 工作参考价值（4 点）
- 任务分解与级联评分标准：借鉴其子任务分解和级联 rubric 设计，可在电商搜索/推荐代理评估中实现细粒度能力诊断（如商品推荐的准确性、解释质量、多源信息融合能力）。
- 用户中心聚合分数：提出的用户偏好分数可作为离线代理指标，近似真实用户满意度，用于 Agent 的迭代优化或线上 A/B 测试前的快速筛选。
- 17 个系统对比揭示的短板：时效性、多源合成等维度的普遍缺陷表明，在构建电商搜索代理时需特别强化实时信息的抓取与融合机制。
- 数据集与任务构造思路：可从真实用户讨论中挖掘任务，构建贴合电商场景（如比价、商品咨询）的评估集，复现其评估管线。